Pada 27 Ogos 1958, asalnya sebuah bangunan dua tingkat yang terletak di No. 109, Jalan Ampang, Kuala Lumpur – bersebelahan bangunan parlimen pertama Malaysia (waktu itu dikenali sebagai Persekutuan Tanah Melayu)– telah diperuntukkan oleh kerajaan bagi menempatkan dengan rasminya institusi Balai Seni Visual Negara Malaysia.

Namun ia dipindahkan berhampiran Muzium Negara. Asalnya bangunan ini ialah Hotel Majestic Kuala Lumpur.

Pada 13 November 1998, serentak pelancaran Pameran Seni Lukis Antarabangsa Asia ke-13 di Kuala Lumpur, ia kemudiannya berpindah ke premis baru yang terletak di Jalan Temerloh Off Jalan Tun Razak. Bangunan tersebut dirasmikan oleh mantan Perdana Menteri Malaysia iaitu Tun Dr. Mahathir Mohamad pada 27 September 2000. Bangunan yang mempunyai ciri-ciri senibina yang tersendiri ini terletak di antara Istana Budaya dan Perpustakaan Negara Malaysia. Kedudukannya juga tidak jauh dari Menara Berkembar Petronas dan Pusat Dagangan Dunia Putra (PWTC).

Bangunan BSVN mengandungi 6 buah galeri, sebuah bengkel dan gedung kreatif, pusat sumber, sebuah audiotorium yang memuatkan 144 tempat duduk dan juga pejabat bahagian pentadbiran BSVN.